Space-efficient Data Structures for String Searching and Retrieval

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii Chapter 1: Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 The Models of Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 Our Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Roadmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Chapter 2: Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1 Generalized Suffix Tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.2 Suffix Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 Compressed Suffix Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4 Bit Vectors with Rank/Select Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.5 Succinct Representation of Ordinal Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.6 Document Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.7 Differentially Encoding a Sorted Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.8 String B-tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Chapter 3: External Memory Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1 Preliminary: Top-k Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 External Memory Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.1 Breaking Down into Sub-Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2.2 Converting Top-k to Threshold via Logarithmic Sketch . . . . . . . . . . . . . . . 14 3.2.3 Special Structures for Bounded k . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.4 I/O-Optimal Data Structure via Bootstrapping . . . . . . . . . . . . . . . . . . . . 18 3.3 Adapting to Internal Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Chapter 4: Succinct Space Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.2 Our Data Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2.1 The Compressed Data Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.2.2 Faster Compressed Data Structure . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.3 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Chapter 5: Compact Space Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2 The Data Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 5.3 Storing and Retrieving the Lists top(x, z) . . . . . . . . . . . . . . . . . . . . . . . . . . 33 iv 5.4 Completing the Picture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.4.1 Query Answering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 5.4.2 Computing Scores Online . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 5.5 Reducing the Time to O(p+ k log∗ k) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Chapter 6: Multipattern Retrieval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.1 Handling m > 2 Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Chapter 7: Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Vita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52